Tử nhỏ Hạ Bạt Nhạc đã có chí lớn, yêu thơ văn, thích đi lại với những người có học. Ban đầu, ông làm Thái học sinh. Khi trưởng thành, Nhạc có thể bắn cung ở cả hai bên trái phải, kiêu dũng quả cảm hơn người. Ông tuy không đọc binh thư, nhưng khi bàn việc binh thì lại rất đúng phép.

Nghĩa quân Phá Lục Hàn Bạt Lăng xâm phạm trấn Vũ Xuyên, Nhạc theo cha anh giữ thành. Biệt tướng Vệ Khả Cô của nghĩa quân cách thành hơn 200 bước, Nhạc bắn trúng cánh tay của ông ta, khiến cho nghĩa quân kinh hãi. Sau khi cùng cha anh giết được Vệ Khả Cô, Quảng Dương vương Nguyên Uyên lấy Nhạc làm Trướng nội quân chủ, rồi thăng làm Cường nỗ tướng quân.

Về sau ông cùng anh trai Hạ Bạt Thắng tham gia trấn thủ Hằng Châu. Châu thành bị hãm, ông đầu quân cho Nhĩ Chu Vinh. Vinh đãi ông rất hậu, dùng làm biệt tướng, rồi làm đô đốc. Mỗi lần ông ở dưới trướng, cùng Vinh bàn việc, đều rất hợp ý, nên càng thêm được xem trọng.